Self-supervised monocular depth estimation (MDE) models universally suffer from the notorious edge-fattening issue. Triplet loss, as a widespread metric learning strategy, has largely succeeded in many computer vision applications. In this paper, we redesign the patch-based triplet loss in MDE to alleviate the ubiquitous edge-fattening issue. We show two drawbacks of the raw triplet loss in MDE and demonstrate our problem-driven redesigns. First, we present a min. operator based strategy applied to all negative samples, to prevent well-performing negatives sheltering the error of edge-fattening negatives. Second, we split the anchor-positive distance and anchor-negative distance from within the original triplet, which directly optimizes the positives without any mutual effect with the negatives. Extensive experiments show the combination of these two small redesigns can achieve unprecedented results: Our powerful and versatile triplet loss not only makes our model outperform all previous SoTA by a large margin, but also provides substantial performance boosts to a large number of existing models, while introducing no extra inference computation at all.
translated by 谷歌翻译
高性能的交通流量预测模型设计是一种智能运输系统的核心技术，是工业和学术社区的长期挑战，但仍然具有挑战性。物理原理和数据驱动模型之间缺乏整合是限制该领域发展的重要原因。在文献中，基于物理学的方法通常可以清楚地解释交通流系统的动态过程，但准确性有限，而数据驱动的方法，尤其是使用黑色盒子结构的深度学习，可以提高性能，但不能由于缺乏合理的身体依据，因此要完全信任。为了弥合纯粹数据驱动和物理驱动的方法之间的差距，我们提出了一个物理学引导的深度学习模型，名为时空微分方程网络（STDEN），该模型将交通流动器的物理机理投入到深度神经网络框架中。具体而言，我们假设道路网络上的交通流量是由潜在势能场驱动的（例如水流是由重力场驱动的），并将势能场的时空动态过程作为微分方程网络进行建模。 Stden吸收了数据驱动模型的性能优势和基于物理模型的可解释性，因此被命名为物理指导的预测模型。北京三个现实世界流量数据集的实验表明，我们的模型的表现优于最先进的基线。案例研究进一步验证了stden可以捕获城市交通机制，并具有物理含义的准确预测。提出的微分方程网络建模的框架也可能会阐明其他类似的应用程序。
translated by 谷歌翻译
多模式情感分析是一项重要的研究任务，可以根据特定意见视频的不同模式数据来预测情绪得分。以前的许多研究都证明了利用不同模式的共享和独特信息的重要性。但是，来自多模式数据的高阶组合信号也将有助于提取满足表示形式。在本文中，我们提出了CMGA，这是MSA的跨模式门控注意融合模型，倾向于在不同的模态对上进行足够的相互作用。CMGA还添加了一个忘记的门来过滤交互过程中引入的嘈杂和冗余信号。我们在MSA，MOSI和MOSEI的两个基准数据集上进行了实验，以说明CMGA在几种基线模型上的性能。我们还进行了消融研究，以证明CMGA内部不同组件的功能。
translated by 谷歌翻译
存在多种自然语言处理（NLP）任务的多种效率方法，例如修剪，蒸馏，动态推断，量化等。我们可以将效率方法视为应用于模型的操作员。自然，我们可以构建多个效率方法的管道，即，顺序将多个操作员应用于模型。在本文中，我们研究了这一想法的合理性，更重要的是，效率运营商的合理性和累积性。我们做出了两个有趣的观察结果：（1）效率运营商是可交换的 - 管道中效率方法的顺序对最终结果几乎没有影响；（2）效率运算符也是累积的 - 结合几种效率方法的最终结果可以通过组合单个方法的结果来估算。这些观察结果加深了我们对效率运营商的理解，并为其现实世界应用提供了有用的准则。
translated by 谷歌翻译
我们研究了视频引用表达理解（REC）的问题，该问题旨在将句子中描述的引用对象定位为视频帧中的视觉区域。尽管取得了最近的进展，但现有方法却遇到了两个问题：1）视频帧之间的本地化结果不一致； 2）参考对象和上下文对象之间的混淆。为此，我们提出了一个新颖的双对应网络（称为DCNET），该网络明确增强了框架间和跨模式的密集关联。首先，我们旨在为框架内所有现有实例建立框架间的相关性。具体而言，我们计算框架间的斑点余弦相似性，以估计密集的对齐方式，然后执行框架间的对比度学习以在特征空间中映射它们。其次，我们建议构建细粒斑点字对齐，以将每个贴片与某些单词相关联。由于缺乏这种详细的注释，我们还通过余弦相似性预测了斑点字的对应关系。广泛的实验表明，我们的DCNET在视频和图像基准测试中都达到了最先进的性能。此外，我们进行了全面的消融研究和彻底的分析，以探索最佳模型设计。值得注意的是，我们的框架间和跨模式对比损失是插件功能，适用于任何视频架构架构。例如，通过在共同接地之上进行构建，我们在vid-sentence数据集的Accu。0.5上提高了1.48％的性能。
translated by 谷歌翻译
深度神经网络的成功在很大程度上取决于大量高质量注释的数据的可用性，但是这些数据很难或昂贵。由此产生的标签可能是类别不平衡，嘈杂或人类偏见。从不完美注释的数据集中学习无偏分类模型是一项挑战，我们通常会遭受过度拟合或不足的折磨。在这项工作中，我们彻底研究了流行的软马克斯损失和基于保证金的损失，并提供了一种可行的方法来加强通过最大化最小样本余量来限制的概括误差。我们为此目的进一步得出了最佳条件，该条件指示了类原型应锚定的方式。通过理论分析的激励，我们提出了一种简单但有效的方法，即原型锚定学习（PAL），可以轻松地将其纳入各种基于学习的分类方案中以处理不完美的注释。我们通过对合成和现实世界数据集进行广泛的实验来验证PAL对班级不平衡学习和降低噪声学习的有效性。
translated by 谷歌翻译
基于深度学习的分类中特征表示的主要挑战之一是设计表现出强大歧视力的适当损失功能。经典的SoftMax损失并不能明确鼓励对特征的歧视性学习。研究的一个流行方向是将边缘纳入良好的损失中，以实施额外的课内紧凑性和阶层间的可分离性，但是，这是通过启发式手段而不是严格的数学原则来开发的。在这项工作中，我们试图通过将原则优化目标提出为最大的利润率来解决这一限制。具体而言，我们首先将类别的边缘定义为级别间的可分离性的度量，而样品边缘是级别的紧凑性的度量。因此，为了鼓励特征的歧视性表示，损失函数应促进类和样品的最大可能边缘。此外，我们得出了广义的保证金软损失，以得出现有基于边缘的损失的一般结论。这个原则性的框架不仅提供了新的观点来理解和解释现有的基于保证金的损失，而且还提供了新的见解，可以指导新工具的设计，包括样本保证金正则化和最大的平衡案例的最大保证金损失，和零中心的正则化案例。实验结果证明了我们的策略对各种任务的有效性，包括视觉分类，分类不平衡，重新识别和面部验证。
translated by 谷歌翻译
预计机器学习算法的大多数实际问题都可以通过1）未知数据分配来解决这种情况； 2）小领域特定知识； 3）注释有限的数据集。我们通过使用潜在变量（NPC-LV）的压缩提出非参数学习，这是任何数据集的学习框架，这些数据集具有丰富的未标记数据，但很少有标签的数据。通过仅以无监督的方式训练生成模型，该框架利用数据分配来构建压缩机。使用源自Kolmogorov复杂性的基于压缩机的距离度量，加上很少的标记数据，NPC-LV无需进一步的训练而进行分类。我们表明，在低数据制度中，NPC-LV在图像分类的所有三个数据集上都优于监督方法，甚至超过了CIFAR-10上的半监督学习方法。我们证明了如何以及何时使用负面证据下降（Nelbo）作为分类的近似压缩长度。通过揭示压缩率和分类精度之间的相关性，我们说明在NPC-LV下，生成模型的改进可以增强下游分类精度。
translated by 谷歌翻译
随机梯度下降（SGD）是现代机器学习（ML）系统的基石。尽管具有其计算效率，但SGD仍需要随机数据访问，这些数据访问在依赖块可调地理的二级存储的系统中实现效率低下，例如HDD和SSD，例如TensorFlow/Pytorch和DB ML系统，而不是大文件。为了解决这种阻抗不匹配，已经提出了各种数据改组策略，以平衡SGD的收敛速率（有利于随机性）及其I/O性能（有利于顺序访问）。在本文中，我们首先对现有数据改组策略进行系统的实证研究，该研究表明，所有现有策略都有改进的空间 - 它们都在I/O性能或融合率方面受苦。考虑到这一点，我们提出了一种简单但新颖的分层数据改组策略Corgipile。与现有的策略相比，Corgipile避免了完整的数据洗牌，同时保持SGD的可比收敛速度，就好像执行了完整的混音一样。我们对Corgipile的融合行为提供了非平凡的理论分析。我们通过在新的CorgipileDataSet API中设计新的平行/分布式洗牌操作员来进一步将Corgipile整合到Pytorch中。我们还通过介绍具有优化的三个新的物理运营商，将Corgipile集成到PostgreSQL中。我们的实验结果表明，Corgipile可以与全面的SGD达到可比的收敛速率，以实现深度学习和广义线性模型。对于ImageNet数据集的深度学习模型，Corgipile比带有完整数据洗牌的Pytorch快1.5倍。对于具有线性模型的INDB ML，在HDD和SSD上，Corgipile的Corgipile比两个最先进的IN-DB ML系统（Apache Madlib和Bismarck）快1.6 x-12.8倍。
translated by 谷歌翻译
在本文中，我们发现两个因素抑制POMS从实现高感感性质量：1）方向优化（COO）问题和2）模型的低频趋势。首先，POMS倾向于生成SR图像，其位置空间中的位置最接近所有潜在的高分辨率（HR）图像的分配中心，导致这种POMS失去高频细节。其次，图像的90美元\％$区域由低频信号组成;相比之下，人类感知依赖于图像的高频细节。然而，POMS应用相同的计算来处理不同频率区域，使POM倾向于恢复低频区域。基于这两个因素，我们提出了一种细节，通过组合高频增强模块和空间对比学习模块来降低COO问题的影响和低频趋势来提高对比损失（DECHROSTS）。实验结果表明，在若干常规SR模型上施加DROCKS时的效率和有效性。例如，在EDSR中，与基于GAN的方法相比，我们所提出的方法与视觉质量微妙降级的基于GAN的方法实现了3.60美元。此外，我们的最终结果表明，与最先进的方法相比，配备了我们的DECHROSS的SR网络更具现实和视觉上令人愉悦的纹理。 ％拟议方法的源代码包含在补充材料中，并将在将来公开。
translated by 谷歌翻译